% Created 2012-08-14 Tue 15:22
\documentclass[11pt]{article}
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage{fixltx2e}
\usepackage{graphicx}
\usepackage{longtable}
\usepackage{float}
\usepackage{wrapfig}
\usepackage{soul}
\usepackage{textcomp}
\usepackage{marvosym}
\usepackage{wasysym}
\usepackage{latexsym}
\usepackage{amssymb}
\usepackage{hyperref}
\tolerance=1000
\providecommand{\alert}[1]{\textbf{#1}}

\title{mathnotes}
\author{}
\date{\today}
\hypersetup{
  pdfkeywords={},
  pdfsubject={},
  pdfcreator={Emacs Org-mode version 7.8.11}}

\begin{document}

\maketitle

\setcounter{tocdepth}{3}
\tableofcontents
\vspace*{1cm}
\section{数学记号}
\label{sec-1}
\subsection{$\lceil$ $\rceil$ 和 $\lfloor$ $\rfloor$}
\label{sec-1-1}

   $\lceil$ x $\rceil$ 表示大于x的最小整数; $\lfloor$ x $\rfloor$ 表示小于x的最大整数.
   例如: 
   $\lceil$ 2.1 $\rceil$ = 3
   $\lfloor$ -2.6 $\rfloor$ = -3
\section{优化问题}
\label{sec-2}

  形式如下:
  minimize f$_0$(x)
  subject to f$_i$(x) $\le$ b$_i$, i = 1, \dots{}, m

\begin{itemize}
\item cost function = objective function
\end{itemize}
\section{least-squares :: 最小二乘法}
\label{sec-3}
\subsection{最小二乘问题描述}
\label{sec-3-1}

   最小二乘问题可以看作是没有约束的优化问题, 这时m = 0.
   minimize f$_0$(x) = \| Ax - b \|_2$^2$ = $\sum$$_{\mathrm{i = 1}}$$^k$ (a$_i$$^T$ x - b$_i$)$^2$
   其中, A $\in$ R$^{\mathrm{k \times n}}$, k $\le$ n, a$_i$$^T$ 是A的第i行, 向量x $\in$ R$^n$ 是优化变量.
\subsection{最小二乘问题的解}
\label{sec-3-2}

   上面的最小二乘问题可以转化为解下面的线性方程组
   (A$^T$ A)x = A$^T$ b
   可以得到解析解:
   x = (A$^T$ A)$^{\mathrm{-1}}$ A$^T$ b
\subsection{关于最小二乘的说明}
\label{sec-3-3}

   在变量数一般的情况, 最小二乘的方法是比较有效的, 可以用方便地用计算机得到其解. 在变量数非常多和对实时性要求很高的情况下, 最小二乘法就将遇到挑战.
\subsection{最小二乘的应用}
\label{sec-3-4}
\subsubsection{判断方法最小二乘}
\label{sec-3-4-1}

    判断一个问题是一个最小二乘问题, 只要判断目标函数是二次函数, 并且其对应的二次型是半正定的即可.
\subsubsection{其他形式的最小二乘法}
\label{sec-3-4-2}

\begin{description}
\item[weighted least-squares] 加权最小二乘
         $\sum$$_{\mathrm{i = 1}}$$^k$ w$_i$ (a$_i$$^T$ x - b$_i$)$^2$
         其中w$_1$, \dots{}, w$_k$是最小的正数, 衡量了每个分量的权重, 即w$_i$反映了a$_i$$^T$ - b$_i$这一项所占的大小. 在统计学中, 加权最小二乘意味着线性变量被不同方差的错误所污染.
\item[???] regularization \protect\footnote{L. V. Stephen Boyd, Convex Optimization. Cambridge University Press, 2004.
 }
      $\sum$$_{\mathrm{i = 1}}$$^k$ (a$_i$$^T$ x - b$_i$)$^2$ + $\rho$ $\sum$$_{\mathrm{i = 1}}$$^n$ x$_i$$^2$
      在代价函数后面添加了一项. 统计学中, 表示给出向量x的先验分布, 对x进行估计.
\end{description}

\end{document}